我们提出了一种新颖的有效方法，用于通过几何拓扑来解决全球点云注册问题。基于许多点云成对注册方法（例如ICP），我们关注沿任何循环的转换组成的累积误差问题。本文的主要技术贡献是仅使用泊松方程式消除错误的线性方法。我们从Hodge-Helmhotz分解定理和在现实世界场景的多个RGBD数据集中进行了实验，证明了我们方法的一致性。实验结果还表明，我们的全球注册方法运行迅速并提供准确的重建。

Detecting actions in untrimmed videos should not be limited to a small, closed set of classes. We present a simple, yet effective strategy for open-vocabulary temporal action detection utilizing pretrained image-text co-embeddings. Despite being trained on static images rather than videos, we show that image-text co-embeddings enable openvocabulary performance competitive with fully-supervised models. We show that the performance can be further improved by ensembling the image-text features with features encoding local motion, like optical flow based features, or other modalities, like audio. In addition, we propose a more reasonable open-vocabulary evaluation setting for the ActivityNet data set, where the category splits are based on similarity rather than random assignment.

Transformers have attained superior performance in natural language processing and computer vision. Their self-attention and feedforward layers are overparameterized, limiting inference speed and energy efficiency. Tensor decomposition is a promising technique to reduce parameter redundancy by leveraging tensor algebraic properties to express the parameters in a factorized form. Prior efforts used manual or heuristic factorization settings without hardware-aware customization, resulting in poor hardware efficiencies and large performance degradation. In this work, we propose a hardware-aware tensor decomposition framework, dubbed HEAT, that enables efficient exploration of the exponential space of possible decompositions and automates the choice of tensorization shape and decomposition rank with hardware-aware co-optimization. We jointly investigate tensor contraction path optimizations and a fused Einsum mapping strategy to bridge the gap between theoretical benefits and real hardware efficiency improvement. Our two-stage knowledge distillation flow resolves the trainability bottleneck and thus significantly boosts the final accuracy of factorized Transformers. Overall, we experimentally show that our hardware-aware factorized BERT variants reduce the energy-delay product by 5.7x with less than 1.1% accuracy loss and achieve a better efficiency-accuracy Pareto frontier than hand-tuned and heuristic baselines.

Intelligent mesh generation (IMG) refers to a technique to generate mesh by machine learning, which is a relatively new and promising research field. Within its short life span, IMG has greatly expanded the generalizability and practicality of mesh generation techniques and brought many breakthroughs and potential possibilities for mesh generation. However, there is a lack of surveys focusing on IMG methods covering recent works. In this paper, we are committed to a systematic and comprehensive survey describing the contemporary IMG landscape. Focusing on 110 preliminary IMG methods, we conducted an in-depth analysis and evaluation from multiple perspectives, including the core technique and application scope of the algorithm, agent learning goals, data types, targeting challenges, advantages and limitations. With the aim of literature collection and classification based on content extraction, we propose three different taxonomies from three views of key technique, output mesh unit element, and applicable input data types. Finally, we highlight some promising future research directions and challenges in IMG. To maximize the convenience of readers, a project page of IMG is provided at \url{https://github.com/xzb030/IMG_Survey}.

光学计算是一种新兴技术，用于下一代高效人工智能（AI），其速度和效率超高。电磁场模拟对于光子设备和电路的设计，优化和验证至关重要。但是，昂贵的数值模拟显着阻碍了光子电路设计循环中的可扩展性和转环。最近，已经提出了物理信息的神经网络来预测具有预定义参数的部分微分方程（PDE）的单个实例的光场解。它们复杂的PDE公式和缺乏有效的参数化机制限制了其在实际模拟方案中的灵活性和概括。在这项工作中，首次提出了一个被称为Neurolight的物理敏捷神经操作员框架，以学习一个频率域的麦克斯韦PDE家族，以进行超快速的参数光子设备模拟。我们通过几种新技术来平衡神经照明的效率和概括。具体而言，我们将不同的设备离散到统一域中，代表具有紧凑型波的参数PDE，并通过掩盖的源建模编码入射光。我们使用参数效率高的跨形神经块设计模型，并采用基于叠加的增强来进行数据效率学习。通过这些协同方法，神经亮像可以概括为大量的看不见的模拟设置，比数值求解器显示了2个磁性的模拟速度，并且比先前的神经网络模型优于降低54％的预测误差，而降低了约44％的参数。 。我们的代码可在https://github.com/jeremiemelo/neurolight上找到。

随着深度学习模型和数据集的迅速扩展，网络培训非常耗时和资源成本。使用小型合成数据集学习并没有在整个数据集中进行培训，而是一种有效的解决方案。广泛的研究已在数据集凝结的方向上进行了探索，其中梯度匹配可以达到最先进的性能。梯度匹配方法在原始和合成数据集上训练时通过匹配梯度直接靶向训练动力学。但是，对该方法的原理和有效性进行了有限的深入研究。在这项工作中，我们从全面的角度深入研究了梯度匹配方法，并回答了什么，如何和何处的关键问题。我们建议将多级梯度匹配，以涉及类内和类间梯度信息。我们证明，距离函数应集中在角度上，考虑到同时延迟过度拟合的幅度。还提出了一种过度拟合的自适应学习步骤策略，以修剪不必要的优化步骤，以提高算法效率。消融和比较实验表明，与先前的工作相比，我们提出的方法具有优越的准确性，效率和概括性。

模拟/混合信号电路设计是整个芯片设计过程中最复杂，最耗时的阶段之一。由于芯片制造的各种过程，电压和温度（PVT）变化，模拟电路不可避免地会遭受性能降解。尽管在典型条件下自动化模拟电路设计方面已经有很多工作，但在探索在真实且不可预测的硅变化下探索可靠设计的研究有限。针对变化的自动模拟设计需要过度的计算和时间成本。为了应对挑战，我们提出了RobustanAlog，这是一个强大的电路设计框架，涉及优化过程中的变化信息。具体而言，不同变化下的电路优化被认为是一组任务。任务之间的相似之处是杠杆作用，并且可以缓解竞争以实现样本效率高的多任务培训。此外，Robustanalog根据每次迭代中当前的性能来修剪任务空间，从而导致进一步的模拟成本降低。这样，鲁棒可以迅速产生一组电路参数，这些电路参数满足各种变化的各种约束（例如增益，带宽，噪声...）。我们将Robustanalog与贝叶斯优化，进化算法和深层确定性策略梯度（DDPG）进行了比较，并证明Robustanalog可以将所需的优化时间显着减少14-30次。因此，我们的研究提供了一种处理各种真实硅条件的可行方法。

计算生物学中的一个关键问题是发现基因表达变化，该基因表达会调节细胞命运跃迁，其中一种细胞类型变成另一种细胞类型。但是，每个单独的单个细胞都不能纵向跟踪，并且在同一时间内实时的单元可能处于过渡过程的不同阶段。这可以看作是从未知时代的观察结果中学习动态系统行为的问题。此外，单个祖细胞类型通常会分叉成多种儿童细胞类型，从而使模拟动力学的问题变得复杂。为了解决这个问题，我们开发了一种称为普通微分方程的变分混合物的方法。通过使用基因表达生物化学告知的简单odes家族来限制深层生成模型的可能性，我们可以同时推断每个细胞的潜在时间和潜在状态并预测其未来的基因表达状态。该模型可以解释为ODE的混合物，其参数在细胞状态的潜在空间中连续变化。与以前的方法相比，我们的方法极大地改善了单细胞基因表达数据的数据拟合，潜在时间推断和未来的细胞状态估计。

语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。

由于一系列理想的模型属性，卷积神经网络（CNN）的使用在深度学习中被广泛扩展，这导致了有效有效的机器学习框架。但是，必须将CNN架构定制为特定任务，以结合输入长度，分辨率和尺寸的考虑因素。在这项工作中，我们通过连续的卷积神经网络（CCNN）克服了针对特定问题的CNN体​​系结构的需求：一个配备了连续卷积内核的单个CNN体系结构，可用于根据任意分辨率，维度，长度和长度的数据进行任务，而无需结构性长度变化。连续的卷积内核在每一层的远距离依赖性模型，并消除当前CNN体系结构中所需的降采样层和任务依赖性深度的需求。我们通过将相同的CCNN应用于顺序（1 $ \ mathrm {d} $）和视觉数据（2 $ \ mathrm {d} $）上的一系列任务来显示我们方法的普遍性。我们的CCNN竞争性能，并且在所有考虑的所有任务中通常都优于当前最新的。